全球5120TB数据泄露,Hadoop服务器配置不当是主因
更多全球网络安全资讯尽在E安全官网www.easyaq.com
E安全6月5日讯 据Shodan互联网设备搜索引擎的分析显示， Hadoop服务器因配置不安全导致海量数据被暴露。涉及使用Hadoop分布式文件系统（HDFS）的近4500台服务器，数据量高达5120 TB （5.12 PB）。该数据总量大于2015年MongoDB数据库的数据泄露量（595.2 TB）。这次，Shodan在发布的分析研究中写到，就数据量而言，与MongoDB相比，HDFS绝对是优胜者。尽管未经身份验证而连接到互联网的MongoDB数据库更多，但就数据泄露而言，MongoDB集群就显得相形见绌（25TB Vs. 5PB）。
HDFS支持Hadoop分布式文件系统，这是一个可以在基于云的服务器上运行的分布式文件系统。它是Apache Hadoop的核心技术，但它也部署了自定义解决方案。HDFS系统通常位于云托管环境中，用于存储和处理大量的用户数据。
这批数据泄露的近4500台HDFS服务器，泄露最多HDFS实例的国家是美国和中国，这两个国家拥有世界上超过50%的数据中心，其中美国（1900台）和中国（1426台），其次是德国（129台）和韩国（115台）。大部分HDFS实例托管在云上，亚马逊（1059个）和阿里巴巴（507个）。
Hadoop与MongoDB
延伸阅读：2015年，同样是Shodan分析得出，全网MongoDB数据库(开源SQL数据库)泄露。当时“纽约时报”、“易趣”、“Foursquare”等许多公司都采用了这种数据库，而数据泄露的原因多是由于MongoDB版本过于老旧或是随意放在公网没有经过身份验证。
2015年不安全的MongoDB数据库暴露在网上以后，安全专家发现，黑客复制并删除易受攻击的数据从而实施敲诈勒索。攻击者要求受害者支付赎金取回数据以及修补被利用的漏洞。
大多数互联网上暴露的MongoDB服务器似乎已经遭到攻击，类似的勒索攻击还针对Elasticsearch、CouchDB和Hadoop服务器，此类攻击目前仍在瞄准Hadoop和MongoDB。Shodan创始人约翰·马瑟利表示，首批针对HDFS的攻击删除了大多数目录，并创建了名为“NODATA4U_SECUREYOURSHIT”的目录，但未向受害者索要赎金。
通过Shodan查询字符串“NODATA4U_SECUREYOURSHIT”，Shodan检索出了超过200个Hadoop分布式文件系统结果。
如何查询已经暴露的Hadoop分布式文件系统？
Shodan在博文提到如何搜索暴露在网上的Hadoop分布式文件系统。
1. 通过Shodan命令行接口下载数据：
2. 编写Python脚本测算暴露的数据量（hdfs-exposure.py）
3. 运行Python脚本获取暴露的数据量：
根据Shodan创始人Matherly的说法，目前仍然有207个基于HDFS的集群有赎金要求，不过不清楚这些是不是今年1月袭击的遗留问题，还是现下仍然有服务器正被劫持。
关于如何配置Hadoop服务器以在安全模式运行的说明，可以访问此链接：
http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SecureMode.html
E安全要闻简讯
官网：
2017年6月